package cn.lecosa.spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD.rddToPairRDDFunctions


object Disticnt {
  def main(args: Array[String]) {
    val conf = new SparkConf(); //创建SparkConf对象  设置spark参数
    conf.setAppName("wow,My First Spark App!"); //设置应用程序的名称，在spark程序运行的监控界面可以看到名称
    conf.setMaster("local[2]"); //此时，程序在本地运行，不需要安装spark集群
    val sc = new SparkContext(conf);

    val lines = sc.textFile("hdfs://cdh2:8020/testData/distinct/distinct.txt", 1); 
    val r1 =lines.flatMap { x =>x.split("\n") }
    val r2=r1.filter ( _.trim.length()>0).map { x => (x.trim,1) };
//    val r3=r2.sortByKey().keys  //.groupByKey()
//      r3.foreach { x => println(x) }
    lines.map((_,"")).sortByKey().keys.foreach(println);
    lines.map((_,"")).sortByKey().values
    sc.stop();
  }
}